#Instruction Tuning

4 篇

CreativeInstruct: Scalably Teaching LLMs to Balance Quality, Creativity, and Diversity

CreativeInstruct：可扩展地教大语言模型平衡质量、创意与多样性

🧭 可控创意指令微调 · 特殊令牌注入

Columbia · UNC Chapel Hill · University of Texas at Austin

通过在指令微调中引入 [StartCreativity] 令牌，使 LLM 在保持后训练质量的同时恢复基模型的创意多样性

📌 工作参考价值（4 点）

在电商推荐文案、对话式推荐等需要创意和多样性的场景，可通过插入类似 [StartCreativity] 的特殊 token 控制生成风格，在不牺牲质量的前提下提升多样性。
图编辑距离的结构多样性指标可以用于评估推荐理由、产品描述或 push 消息的叙事结构多样性，弥补纯词汇或语义指标的不足。
在 RL 训练前先用 CreativeInstruct 增强基模型的创造性，能显著提升后续 RL 的效果，这对用 RL 优化推荐策略或对话 Agent 的探索能力有直接借鉴。
单一模型即可平衡质量与创意，避免部署多个模型或蒸馏带来的推理开销，适合线上低延迟生成任务。

Training | 2026-08-07 | cs.CL | score 7/10

Vision as Unified Multimodal Generation

视觉即统一多模态生成

🧭 视觉任务统一为多模态指令生成

SenseTime Research · Nanyang Technological University · The Chinese University of Hong Kong · Peking University · Shanghai Jiao Tong University

将异构视觉任务统一为多模态生成，单一模型通过指令输出文本或图像，匹配专家系统

📌 工作参考价值（4 点）

统一生成范式可迁移至电商推荐：将召回、排序、解释等任务统一为自然语言指令驱动的多模态生成，降低多任务工程开销。
指令与视觉提示机制可直接用于多模态搜索Agent：允许用户通过自然语言和区域/属性提示灵活指定需求，模型输出文本或结构化推荐结果。
异构标注转指令数据集的方法可复制到推荐场景：将点击、购买、评论等行为数据转化为指令-回答对，支持推荐模型的指令微调。
从预训练多模态模型出发，混合任务数据保持能力的训练策略，适合构建兼具通用知识与业务专长的推荐Agent。

Multimodal | 2026-07-06 | HF Daily | score 6/10

Unified Multimodal Generation Instruction Tuning Vision Foundation Model Task Unification Text-Image Generation

Improved Large Language Diffusion Models

改进的大语言扩散模型

🧭 大语言模型扩散训练与推理优化

Renmin University of China · Beijing Key Laboratory of Research on Large Models and Intelligent Governance · Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE · ByteDance Seed

8B 全双向掩码扩散语言模型从零预训练 12T tokens，大幅超越 LLaDA 并与自回归模型竞争

📌 工作参考价值（4 点）

生成式推荐场景可尝试用扩散模型替代自回归生成，尤其适合需要高吞吐、非自回归解码的物品标题、描述或语义 ID 生成。
全双向注意力在用户序列建模、查询改写等需要全局上下文的推荐任务中可能提升效果。
掩码扩散训练与变长生成技术可应用于对话式推荐响应生成，平衡效率与多样性。
置信度评分为推荐候选集排序提供新思路，如计算 item 置信度辅助精排。

LLM | 2026-06-23 | HF Daily | score 7/10

Diffusion Language Model Masked Diffusion Bidirectional Attention Pretraining Instruction Tuning Variable-length Generation

HarnessBridge: Learnable Bidirectional Controller for LLM Agent Harness

HarnessBridge：面向 LLM Agent 的可学习双向控制器

🧭 Agent 交互接口 · 可学习 harness 优化 ★ 深度解读

University of California, Los Angeles

将 Agent 与环境的交互接口参数化为可学习的双向投影，通过指令微调轻量模型，在提升任务成功率的同时大幅降低 token 消耗和轨迹长度。

📌 工作参考价值（4 点）

可学习的交互策略：Harness 不再靠人工规则，可用轻量模型学习观察压缩和动作拒绝策略，适用于电商客服 Agent、多步推荐交互等长周期对话场景，减少无效交互和上下文膨胀。
双向投影设计：Observation Projection 保留关键信息、压缩冗余、丢弃无关内容，并维护 active-state index，可直接复用到复杂 Agent 的上下文管理中；Action Projection 通过轨迹证据拒绝无效动作并给出改进建议，可提升如工具调用、搜索 API 交互的效率。
轻量模型的控制器模式：用 0.8B 模型控制 35B+ 生成器，推理开销仅约生成器的 7%，该模式在成本敏感的电商 Agent 部署中极具参考价值，可用小模型做交互仲裁。
统一指令微调范式：将观察压缩与动作校验统一为条件生成任务，采集带约束的轨迹数据，可泛化到不同生成器，适合需要快速适配不同 LLM 后端的推荐或对话系统。

Agent | 2026-06-10 | HF Daily | score 9/10

HarnessBridge LLM Agent Observation Projection Action Projection Instruction Tuning